Towards In-Parameter Memory Augmentation for Large Language Models
面向大语言模型的参数内记忆增强
🧭 LLM 参数化记忆增强综述
The Hong Kong University of Science and Technology · Hong Kong Baptist University
以参数放置与获取时间为两个正交轴，系统梳理部署期 LLM 参数化记忆方法
📌 工作参考价值（4 点）
- 在生成式推荐/对话 Agent 中，用 LoRA 或 prefix 参数封装长期用户偏好、商品知识或交互经验，替代每次拼接长历史，可显著降低 prompt token 与重复编码成本；在线更新 LoRA 可以跨会话沉淀用户兴趣。
- 按数据形态选择参数放置：稳定领域事实/类目属性适合固化在 FFN 或 MLP 层；时序行为、短期兴趣更适合 Attention 或 Hybrid 放置，离线训练 adapter 作为商品/类目记忆库，请求时即插即用。
- 与 ICL 协同：把长期稳定知识放进参数，短期促销、会话上下文仍走 ICL，减少上下文占用；多租户/多活动场景要评估 LoRA 合并时的 interference，避免用户偏好记忆互相污染。
- 购物 Agent 可用 online LoRA/TempLora 把成功决策、用户反馈实时写入参数形成私有记忆，而非无限堆积历史消息，对长会话和跨 session 个性化尤其有价值。